SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents
SkillCorpus：整合与评估开放技能生态以助力现实世界LLM智能体
🧭 Agent 技能生态聚合与端到端评估 ★ 深度解读
EverMind · Shanda Group · Peking University
将82万社区技能文件策展为9.6万高质量语料，并在三个真实Agent基准上实现一致增益（最高+13.4pp），揭示覆盖与Harness边界
📌 工作参考价值（4 点）
- 技能库构建与质量控制：多阶段策展流水线（结构过滤→语义去重→LLM三面评分→安全/许可硬门）可直接用于构建内部工具或知识库，尤其安全硬门（命令注入、越权等）对生产环境至关重要。
- 检索增强代理设计：微调嵌入+重排序+LLM终选器的三层检索栈，可借鉴至推荐系统中的工具检索或营销话术生成；按任务域自适应选择技能类别，提升相关性。
- Harness能力决定技能兑现：实验表明同一组技能在不同Agent框架（Raven vs OpenClaw）下增益相差近3倍，提示在选型或自研Agent时需关注执行闭环（如自动验证-修复循环）以最大化外部知识收益。
- 覆盖驱动增益，泛化靠生成：增益与技能覆盖强相关（r≈0.35），缺失领域增益为零但不反损；当业务领域技能稀疏时，可考虑自动生成或自我演化补充，而非仅优化检索。